<map version="0.9.0">
<!-- To view this file, download free mind mapping software FreeMind from http://freemind.sourceforge.net -->
<node CREATED="1297330009432" ID="ID_1383495481" MODIFIED="1297340105822" STYLE="bubble" TEXT="Dissertation">
<node CREATED="1297330030934" ID="ID_1875756848" MODIFIED="1297331254269" POSITION="right" STYLE="bubble" TEXT="Multilayer Perceptron">
<node CREATED="1297330104368" ID="ID_1981108758" MODIFIED="1297332358063" STYLE="bubble" TEXT="Propagation">
<icon BUILTIN="button_ok"/>
</node>
<node CREATED="1297330107312" FOLDED="true" ID="ID_1545007547" MODIFIED="1297333280354" STYLE="bubble" TEXT="Learning">
<node CREATED="1297330113503" ID="ID_1041109" MODIFIED="1297332414352" STYLE="bubble" TEXT="Basic back-propagation">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      Basic algorithm is developed for general scenario (any number of hidden layers in perceptron)
    </p>
  </body>
</html></richcontent>
<edge COLOR="#808080" STYLE="bezier" WIDTH="thin"/>
<icon BUILTIN="button_ok"/>
</node>
<node CREATED="1297330119143" ID="ID_1220634766" MODIFIED="1297332533494" STYLE="bubble" TEXT="Using learning set">
<icon BUILTIN="button_ok"/>
</node>
</node>
<node CREATED="1297330129887" ID="ID_1724833682" MODIFIED="1297332625402" STYLE="bubble" TEXT="Preprocessing">
<node CREATED="1297332628024" ID="ID_1391574398" MODIFIED="1297332661860" TEXT="Analysis"/>
<node CREATED="1297330141022" ID="ID_1391155701" MODIFIED="1297332678927" STYLE="bubble" TEXT="Validation">
<node CREATED="1297330144870" ID="ID_958778925" MODIFIED="1297340083566" STYLE="bubble" TEXT="Basic">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      http://www.aiportal.ru/articles/neural-networks/bp-heuristic-hints.html
    </p>
    <p>
      
    </p>
    <p>
      &#1042;&#1089;&#1077; &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1077; &#1087;&#1077;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1099;&#1077; &#1076;&#1086;&#1083;&#1078;&#1085;&#1099; &#1073;&#1099;&#1090;&#1100; &#1087;&#1088;&#1077;&#1076;&#1074;&#1072;&#1088;&#1080;&#1090;&#1077;&#1083;&#1100;&#1085;&#1086; &#1086;&#1073;&#1088;&#1072;&#1073;&#1086;&#1090;&#1072;&#1085;&#1099; &#1090;&#1072;&#1082;, &#1095;&#1090;&#1086;&#1073;&#1099; &#1089;&#1088;&#1077;&#1076;&#1085;&#1077;&#1077; &#1079;&#1085;&#1072;&#1095;&#1077;&#1085;&#1080;&#1077; &#1087;&#1086; &#1074;&#1089;&#1077;&#1084;&#1091; &#1086;&#1073;&#1091;&#1095;&#1072;&#1102;&#1097;&#1077;&#1084;&#1091; &#1084;&#1085;&#1086;&#1078;&#1077;&#1089;&#1090;&#1074;&#1091; &#1073;&#1099;&#1083;&#1086; &#1073;&#1083;&#1080;&#1079;&#1082;&#1086; &#1082; &#1085;&#1091;&#1083;&#1102;, &#1080;&#1085;&#1072;&#1095;&#1077; &#1080;&#1093; &#1073;&#1091;&#1076;&#1077;&#1090; &#1089;&#1083;&#1086;&#1078;&#1085;&#1086; &#1089;&#1088;&#1072;&#1074;&#1085;&#1080;&#1074;&#1072;&#1090;&#1100; &#1089;&#1086; &#1089;&#1090;&#1072;&#1085;&#1076;&#1072;&#1088;&#1090;&#1085;&#1099;&#1084; &#1086;&#1090;&#1082;&#1083;&#1086;&#1085;&#1077;&#1085;&#1080;&#1077;&#1084;. &#1044;&#1083;&#1103; &#1086;&#1094;&#1077;&#1085;&#1082;&#1080; &#1087;&#1088;&#1072;&#1082;&#1090;&#1080;&#1095;&#1077;&#1089;&#1082;&#1086;&#1081; &#1079;&#1085;&#1072;&#1095;&#1080;&#1084;&#1086;&#1089;&#1090;&#1080; &#1101;&#1090;&#1086;&#1075;&#1086; &#1087;&#1088;&#1072;&#1074;&#1080;&#1083;&#1072; &#1088;&#1072;&#1089;&#1089;&#1084;&#1086;&#1090;&#1088;&#1080;&#1084; &#1101;&#1082;&#1089;&#1090;&#1088;&#1077;&#1084;&#1072;&#1083;&#1100;&#1085;&#1099;&#1081; &#1089;&#1083;&#1091;&#1095;&#1072;&#1081;, &#1082;&#1086;&#1075;&#1076;&#1072; &#1074;&#1089;&#1077; &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1077; &#1087;&#1077;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1099;&#1077; &#1087;&#1086;&#1083;&#1086;&#1078;&#1080;&#1090;&#1077;&#1083;&#1100;&#1085;&#1099;. &#1042; &#1101;&#1090;&#1086;&#1084; &#1089;&#1083;&#1091;&#1095;&#1072;&#1077; &#1089;&#1080;&#1085;&#1072;&#1087;&#1090;&#1080;&#1095;&#1077;&#1089;&#1082;&#1080;&#1077; &#1074;&#1077;&#1089;&#1072; &#1085;&#1077;&#1081;&#1088;&#1086;&#1085;&#1072; &#1087;&#1077;&#1088;&#1074;&#1086;&#1075;&#1086; &#1089;&#1082;&#1088;&#1099;&#1090;&#1086;&#1075;&#1086; &#1089;&#1083;&#1086;&#1103; &#1084;&#1086;&#1075;&#1091;&#1090; &#1083;&#1080;&#1073;&#1086; &#1086;&#1076;&#1085;&#1086;&#1074;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1086; &#1091;&#1074;&#1077;&#1083;&#1080;&#1095;&#1080;&#1074;&#1072;&#1090;&#1100;&#1089;&#1103;, &#1083;&#1080;&#1073;&#1086; &#1086;&#1076;&#1085;&#1086;&#1074;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1086; &#1091;&#1084;&#1077;&#1085;&#1100;&#1096;&#1072;&#1090;&#1100;&#1089;&#1103;. &#1057;&#1083;&#1077;&#1076;&#1086;&#1074;&#1072;&#1090;&#1077;&#1083;&#1100;&#1085;&#1086;, &#1074;&#1077;&#1082;&#1090;&#1086;&#1088; &#1074;&#1077;&#1089;&#1086;&#1074; &#1101;&#1090;&#1086;&#1075;&#1086; &#1085;&#1077;&#1081;&#1088;&#1086;&#1085;&#1072; &#1073;&#1091;&#1076;&#1077;&#1090; &#1084;&#1077;&#1085;&#1103;&#1090;&#1100; &#1085;&#1072;&#1087;&#1088;&#1072;&#1074;&#1083;&#1077;&#1085;&#1080;&#1077;, &#1095;&#1090;&#1086; &#1087;&#1088;&#1080;&#1074;&#1077;&#1076;&#1077;&#1090; &#1082; &#1079;&#1080;&#1075;&#1079;&#1072;&#1075;&#1086;&#1086;&#1073;&#1088;&#1072;&#1079;&#1085;&#1086;&#1084;&#1091; &#1076;&#1074;&#1080;&#1078;&#1077;&#1085;&#1080;&#1102; &#1087;&#1086; &#1087;&#1086;&#1074;&#1077;&#1088;&#1093;&#1085;&#1086;&#1089;&#1090;&#1080; &#1086;&#1096;&#1080;&#1073;&#1082;&#1080;. &#1058;&#1072;&#1082;&#1072;&#1103; &#1089;&#1080;&#1090;&#1091;&#1072;&#1094;&#1080;&#1103; &#1086;&#1073;&#1099;&#1095;&#1085;&#1086; &#1079;&#1072;&#1084;&#1077;&#1076;&#1083;&#1103;&#1077;&#1090; &#1087;&#1088;&#1086;&#1094;&#1077;&#1089;&#1089; &#1086;&#1073;&#1091;&#1095;&#1077;&#1085;&#1080;&#1103; &#1080;, &#1090;&#1072;&#1082;&#1080;&#1084; &#1086;&#1073;&#1088;&#1072;&#1079;&#1086;&#1084;, &#1085;&#1077;&#1087;&#1088;&#1080;&#1077;&#1084;&#1083;&#1077;&#1084;&#1072;. &#1063;&#1090;&#1086;&#1073;&#1099; &#1091;&#1089;&#1082;&#1086;&#1088;&#1080;&#1090;&#1100; &#1087;&#1088;&#1086;&#1094;&#1077;&#1089;&#1089; &#1086;&#1073;&#1091;&#1095;&#1077;&#1085;&#1080;&#1103; &#1084;&#1077;&#1090;&#1086;&#1076;&#1086;&#1084; &#1086;&#1073;&#1088;&#1072;&#1090;&#1085;&#1086;&#1075;&#1086; &#1088;&#1072;&#1089;&#1087;&#1088;&#1086;&#1089;&#1090;&#1088;&#1072;&#1085;&#1077;&#1085;&#1080;&#1103;, &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1077; &#1074;&#1077;&#1082;&#1090;&#1086;&#1088;&#1099; &#1085;&#1077;&#1086;&#1073;&#1093;&#1086;&#1076;&#1080;&#1084;&#1086; &#1085;&#1086;&#1088;&#1084;&#1072;&#1083;&#1080;&#1079;&#1086;&#1074;&#1072;&#1090;&#1100; &#1074; &#1076;&#1074;&#1091;&#1093; &#1089;&#1083;&#1077;&#1076;&#1091;&#1102;&#1097;&#1080;&#1093; &#1072;&#1089;&#1087;&#1077;&#1082;&#1090;&#1072;&#1093;:
    </p>
    <p>
      
    </p>
    <p>
      &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1077; &#1087;&#1077;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1099;&#1077;, &#1089;&#1086;&#1076;&#1077;&#1088;&#1078;&#1072;&#1097;&#1080;&#1077;&#1089;&#1103; &#1074; &#1086;&#1073;&#1091;&#1095;&#1072;&#1102;&#1097;&#1077;&#1084; &#1084;&#1085;&#1086;&#1078;&#1077;&#1089;&#1090;&#1074;&#1077;, &#1076;&#1086;&#1083;&#1078;&#1085;&#1099; &#1073;&#1099;&#1090;&#1100; &#1085;&#1077;&#1082;&#1086;&#1088;&#1088;&#1077;&#1083;&#1080;&#1088;&#1086;&#1074;&#1072;&#1085;&#1099; (&#1089;&#1084;. &#1084;&#1072;&#1090;&#1077;&#1084;&#1072;&#1090;&#1080;&#1095;&#1077;&#1089;&#1082;&#1080;&#1081; &#1072;&#1085;&#1072;&#1083;&#1080;&#1079;);
    </p>
    <p>
      
    </p>
    <p>
      &#1085;&#1077;&#1082;&#1086;&#1088;&#1088;&#1077;&#1083;&#1080;&#1088;&#1086;&#1074;&#1072;&#1085;&#1085;&#1099;&#1077; &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1077; &#1087;&#1077;&#1088;&#1077;&#1084;&#1077;&#1085;&#1085;&#1099;&#1077; &#1076;&#1086;&#1083;&#1078;&#1085;&#1099; &#1073;&#1099;&#1090;&#1100; &#1084;&#1072;&#1089;&#1096;&#1090;&#1072;&#1073;&#1080;&#1088;&#1086;&#1074;&#1072;&#1085;&#1099; &#1090;&#1072;&#1082;, &#1095;&#1090;&#1086;&#1073;&#1099; &#1080;&#1093; &#1082;&#1086;&#1074;&#1072;&#1088;&#1080;&#1072;&#1094;&#1080;&#1103; &#1073;&#1099;&#1083;&#1072; &#1087;&#1088;&#1080;&#1073;&#1083;&#1080;&#1078;&#1077;&#1085;&#1085;&#1086; &#1088;&#1072;&#1074;&#1085;&#1086;&#1081;.
    </p>
    <p>
      
    </p>
    <p>
      &#160;&#1058;&#1086;&#1075;&#1076;&#1072; &#1088;&#1072;&#1079;&#1083;&#1080;&#1095;&#1085;&#1099;&#1077; &#1089;&#1080;&#1085;&#1072;&#1087;&#1090;&#1080;&#1095;&#1077;&#1089;&#1082;f71
    </p>
  </body>
</html></richcontent>
<node CREATED="1297330150381" ID="ID_429716179" MODIFIED="1297331254269" STYLE="bubble" TEXT="No correlation between input variables"/>
<node CREATED="1297330164484" ID="ID_818105385" MODIFIED="1297332450381" STYLE="bubble" TEXT="Scaling non-correlated input variables ">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      So covariation should be almost equal
    </p>
  </body>
</html></richcontent>
</node>
</node>
<node CREATED="1297332692012" ID="ID_1641053017" MODIFIED="1297333126003" TEXT="Inconsistency check">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      &#1053;&#1091;&#1078;&#1085;&#1086; &#1087;&#1088;&#1086;&#1074;&#1077;&#1088;&#1080;&#1090;&#1100; &#1095;&#1090;&#1086; &#1085;&#1077;&#1090;&#1091; &#1087;&#1072;&#1088; &#1074;&#1093;&#1086;&#1076;&#1085;&#1099;&#1093; &#1089;&#1080;&#1075;&#1085;&#1072;&#1083;&#1086;&#1074; (&#1086;&#1095;&#1077;&#1085;&#1100; &#1073;&#1083;&#1080;&#1079;&#1082;&#1080;&#1093;), &#1085;&#1086; &#1087;&#1086;&#1087;&#1072;&#1076;&#1072;&#1102;&#1097;&#1080;&#1093; &#1074; &#1072;&#1073;&#1089;&#1086;&#1083;&#1102;&#1090;&#1085;&#1086; &#1088;&#1072;&#1079;&#1085;&#1099;&#1077; &#1082;&#1083;&#1072;&#1089;&#1089;&#1099;.
    </p>
  </body>
</html></richcontent>
<icon BUILTIN="flag-green"/>
</node>
</node>
<node CREATED="1297332607026" FOLDED="true" ID="ID_1322911131" MODIFIED="1297347222436" TEXT="Normalization">
<node CREATED="1297332617816" ID="ID_194709529" MODIFIED="1297332999061" TEXT="Linear">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      <a href="http://neuropro.ru/mypapers/neurcompmag05_4.pdf">http://neuropro.ru/mypapers/neurcompmag05_4.pdf</a>
    </p>
  </body>
</html></richcontent>
<icon BUILTIN="button_ok"/>
</node>
</node>
</node>
<node CREATED="1297330177260" ID="ID_1804995411" MODIFIED="1297331254270" STYLE="bubble" TEXT="Posprocessing"/>
<node CREATED="1297330184051" ID="ID_1963098756" MODIFIED="1297331254270" STYLE="bubble" TEXT="Performance measurements"/>
<node CREATED="1297330192123" ID="ID_1988394812" MODIFIED="1297331254270" STYLE="bubble" TEXT="Documentation"/>
<node CREATED="1297330199075" ID="ID_1135839587" MODIFIED="1297347207661" STYLE="bubble" TEXT="Optimization">
<node CREATED="1297330208546" ID="ID_201343629" MODIFIED="1297331254270" STYLE="bubble" TEXT="Joggling weights"/>
<node CREATED="1297330215690" ID="ID_269402858" MODIFIED="1297331386339" STYLE="bubble" TEXT="Contrasting"/>
</node>
<node CREATED="1297330221937" ID="ID_90322685" MODIFIED="1297339803062" STYLE="bubble" TEXT="Visualisation">
<node CREATED="1297333129995" ID="ID_1061606016" MODIFIED="1297333169653" TEXT="Training set visualisation">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      Using honeycomb control with Kohonen projections
    </p>
  </body>
</html></richcontent>
</node>
</node>
</node>
<node CREATED="1297339743017" FOLDED="true" ID="ID_114720956" MODIFIED="1297339800142" POSITION="left" TEXT="Literature">
<node CREATED="1297339753273" ID="ID_1481007045" MODIFIED="1297339790018" TEXT="Neural networks">
<node CREATED="1297339764552" ID="ID_1303928668" MODIFIED="1297339794774" TEXT="1. Neural Networks Theory">
<richcontent TYPE="NOTE"><html>
  <head>
    
  </head>
  <body>
    <p>
      Neural Networks Theory by Lotfi Zadeh
    </p>
    <p>
      
    </p>
    <p>
      Springer | 2007 | ISBN: 3540481249 | 421 pages |
    </p>
  </body>
</html>
</richcontent>
</node>
</node>
</node>
</node>
</map>
